逆転原理
尤度関数はしばしば同時密度の形で表現されます。分散が固定された正規分布の場合、尤度は次のように定義されます:
$L ( \theta | x_1, \dots, x_n ) = \exp\left( -\frac{n}{2\sigma_0^2} (\bar{x} - \theta)^2 \right)$
ここでは、標本平均 $\bar{x}$ が与えられたもとでの、さまざまな $\theta$ 値の「妥当性」を評価します。この妥当性のピークを見つけるために、 定義 6.2.2対数尤度 $l(\theta | s) = \ln L(\theta | s)$ を利用します。この変換により、独立な観測値の積が和に簡略化され、複雑なモデルの最大化が計算的に可能になります。
具体例:身長調査(例 6.3.5)
標準偏差 $s=2.379$ を持つ $n=30$ の身長サンプルを考えます。位置-尺度正規モデルを用いて、真の平均 $\theta$ を推定します。
標準誤差は $s/\sqrt{30} = 0.43434$ として計算されます。この値は尤度曲線の「鋭さ」を測ります。標準誤差が小さいほど、ピークはより狭く鋭くなり、$\theta$ に関する推論の精度が高くなることを意味します。
次元と制約
複雑な状況、たとえば 例 6.1.5(多項モデル)、論理的な依存関係を考慮する必要があります。以下のように指摘されています。「実際に2次元であることに注意してください。なぜなら、$\theta_i$ のうち任意の2つの値が分かれば、残りのパラメータの値もすぐにわかります。」この制約は、パラメータ空間 $\Omega$ を正しく定義するために不可欠です。
漸近的基礎
尤度から推論への橋渡しは中心極限定理に依存しています。$n \to \infty$ のとき、推定量の分布は収束します。特に、 例 6.5.4 ベルヌーイモデルにおいて:
$Z = \frac{\sqrt{n}(\bar{X} - \theta)}{\sqrt{\bar{X}(1 - \bar{X})}} \xrightarrow{D} N(0, 1)$
これにより、十分に大きな標本があれば、z区間やp値を使って不確実性を定量的に評価できます。